An die Nordmauer angelehnt entstand ein zweistöckiger Saalbau mit rundem Treppenturm, der wohl die Haupträume der Burg enthielt.

Vom Gründungsbau um 1244 haben sich wohl nur noch Reste im Keller unter dem Südwestflügel erhalten.
Wohl zu Anfang des 14. Jhs. entstand ein rechteckiger, viergeschossiger Wohnturm an der Nordwestecke. Er ist mit einem steilen Satteldach und zwei verschieden großen, runden, oben ins Achteck übergehenden Ecktürmen versehen.
Unter dem Erzbischof Konrad II. von Weinsberg (1390-96) und Johann Graf von Nassau (1397-1419) erfolgte endgültig der Umbau zum Randhauskastell mit Türmen an den nicht innerhalb der Stadtmauer liegenden Ecken.

 

 

 

 

 

Die östliche Wehrmauer mit dem durch Fallgitter und vorkragendem Wurferker gesicherten Tor trägt die Jahreszahl 1395 (siehe unten).

Das Erdgeschoss ist mit Kreuzgratgewölben über Säulen zweischiffig gegliedert; es enthielt die Kapelle mit nach Osten vorspringendem Altarerker (abgerissen). Als höchster Bau wurde am Oberstromeck der 28 m hohe, sechseckige Hauptturm, ein bewohnbarer Bergfried, errichtet.
Über einem Keller folgen zunächst vier Stockwerke mit Gewölbe. Den oberen Abschluss, zugleich das fünfte Stockwerk, bildet eine auf umlaufendem Spitzbogenfries ruhende Wehrplatte mit Zinnen. An ihn sind ein halbachteckiger Treppenturm und ein Abortturm angesetzt. 
Wohl zur Zeit des Erzbischofs Berthold von Henneburg (1484-1504) erfolgte der Anbau eines Wohngebäudes an die Südmauer mit gewölbten Erdgeschossräumen. An der Feldseite wurde aus dem Dachstuhl ein Wehrgang ausgespart.
Die Südostecke ist mit einem unten runden Turm von 7 m Durchmesser bewehrt, der in den beiden oberen Dritteln achteckig gestaltet ist. Es ist der zweithöchste Turm der Anlage.

Schließlich wurde – nach Abriss der mittelalterlichen Vorgängerbauten – unter Erzbischof Lothar Franz von Schönborn 1719-21 der dreistöckige, schlossartige Westflügel errichtet.